联合学习(FL)是使用Edge设备上可能可用的私人数据训练机器学习模型的新兴范式。 FL的分布式操作引起了集中式机器学习中未遇到的挑战,包括需要保留本地数据集的隐私以及由于重复交换更新模型而导致的通信负载。这些挑战通常通过引起更新模型的某些失真的技术来单独解决,例如当地差异隐私(LDP)机制和有损压缩。在这项工作中,我们提出了一种方法创造的联合隐私增强和量化(JOPEQ),该隐私和量化共同实现了FL环境中的有损压缩和隐私增强。特别是,Jopeq利用基于随机晶格的矢量量化,这是一种通用压缩技术,其副产品失真在统计学上等同于加性噪声。通过使用专用的多元隐私保护噪声来增强模型更新,可以利用这种失真来增强隐私。我们表明,JOPEQ在持有所需的隐私级别的同时,根据所需的比特率同时量化数据,而不会特别影响学习模型的实用性。这是通过分析的LDP保证,失真和收敛范围的推导以及数值研究所示的。最后,我们从经验上断言,乔普克(Jopeq)拆除了已知的普通攻击,以利用隐私泄漏。
translated by 谷歌翻译
信号处理中的推理任务通常以一些缺失的实例特定参数的可靠统计建模为特征。一种常规方法使用数据来估计这些缺失的参数,然后根据估计模型估算这些参数。另外,还可以利用数据直接学习端到端的推理映射。这些用于结合部分知名统计模型和推理数据的方法与机器学习文献中使用的生成和判别模型的概念有关,通常在分类器的背景下考虑。本讲座的目的是介绍通过部分已知的统计模型推断生成和歧视性学习的概念。尽管机器学习系统通常缺乏传统信号处理方法的解释性,但我们专注于一个简单的设置,在该设置中,人们可以以可访问的方式解释和比较与信号处理读者相关的方法。特别是,我们在共同的高斯环境中以均方误差(MSE)目标(即线性估计设置设置)来说明贝叶斯信号估计任务的方法。
translated by 谷歌翻译
深神经网络(DNN)的成功在很大程度上取决于计算资源。虽然DNN经常在云服务器上使用,但在边缘设备上运行DNN的需求越来越大。边缘设备的计算资源通常受到限制,但是,通常将多个边缘设备部署在相同的环境中,并且可以可靠地相互通信。在这项工作中,我们建议通过允许多个用户在推理过程中协作以提高其准确性来促进DNN在优势上的应用。我们的机制(创造的机制)基于每个设备的各种预测因子,在推理过程中构成了模型集合。为了减轻通信开销,用户共享量化的功能,我们提出了一种将多个决策汇总到单个推论规则中的方法。我们分析了边缘合奏所引起的延迟,表明其性能提高是以在通信网络上的共同假设下的较小延迟成本为代价的。我们的实验表明,配备紧凑型DNN的Edge合奏的协作推断显着提高了让每个用户在本地推断出的精度,并且可以使用大于整体中所有网络的单个集中式DNN胜过。
translated by 谷歌翻译
决策算法用于多种不同的应用程序。设计决策算法的常规方法采用原则和简化的建模,基于该建模,可以通过可通过可拖动优化来确定决策。最近,使用高度参数体系结构从数据调整而不依赖数学模型的深度学习方法变得越来越流行。基于模型的优化和以数据为中心的深度学习通常被认为是不同的学科。在这里,我们将它们描述为连续频谱的边缘,特异性和参数化各不相同,并为位于该频谱中间基础的方法提供了教程风格的呈现,称为基于模型的深度学习。我们伴随着演示文稿,其中包括超分辨率和随机控制的运行示例,并使用提供的表征和专门说明它们如何表达它们。使用各种应用中的实验结果证明了结合基于模型的优化和深度学习的收益,从生物医学成像到数字通信。
translated by 谷歌翻译
传统上,信号处理,通信和控制一直依赖经典的统计建模技术。这种基于模型的方法利用代表基本物理,先验信息和其他领域知识的数学公式。简单的经典模型有用,但对不准确性敏感,当真实系统显示复杂或动态行为时,可能会导致性能差。另一方面,随着数据集变得丰富,现代深度学习管道的力量增加,纯粹的数据驱动的方法越来越流行。深度神经网络(DNNS)使用通用体系结构,这些架构学会从数据中运行,并表现出出色的性能,尤其是针对受监督的问题。但是,DNN通常需要大量的数据和巨大的计算资源,从而限制了它们对某些信号处理方案的适用性。我们对将原则数学模型与数据驱动系统相结合的混合技术感兴趣,以从两种方法的优势中受益。这种基于模型的深度学习方法通​​过为特定问题设计的数学结构以及从有限的数据中学习来利用这两个部分领域知识。在本文中,我们调查了研究和设计基于模型的深度学习系统的领先方法。我们根据其推理机制将基于混合模型/数据驱动的系统分为类别。我们对以系统的方式将基于模型的算法与深度学习以及具体指南和详细的信号处理示例相结合的领先方法进行了全面综述。我们的目的是促进对未来系统的设计和研究信号处理和机器学习的交集,这些系统结合了两个领域的优势。
translated by 谷歌翻译
传统上依赖于时间序列推断的方法的设计统计模型,其描述了所需期望序列和观察到的序列之间的关系。已经得出了广泛的基于模型的算法,以使用表示基础分布的因子图上的递归计算来实现可控复杂性的推断。替代模型 - 不可知方法利用机器学习(ML)方法。在这里,我们提出了一个框架,它将基于模型的算法和数据驱动ML工具组合起来的静止时间序列。在所提出的方法中,开发了神经网络以分别学习描述时间序列分布的因子图的特定组件,而不是完全推理任务。通过利用该分布的静止性质,可以将所得方法应用于不同时间持续时间的序列。学习的因子图可以使用紧凑的神经网络来实现使用小型训练集的培训,或者可选地用于改进现有的深度推理系统。我们介绍了一种基于学习的静止因子图的推理算法,其学习从标记数据实现总和 - 产品方案,并且可以应用于不同长度的序列。我们的实验结果表明了所提出的学习因素图表学习从睡眠级数据集进行睡眠阶段检测的小型训练集的精确推断的能力,以及与未知通道的数字通信中的符号检测。
translated by 谷歌翻译
For applications that require processing large amounts of text at inference time, Large Language Models (LLMs) are handicapped by their limited context windows, which are typically 2048 tokens. In-context learning, an emergent phenomenon in LLMs in sizes above a certain parameter threshold, constitutes one significant example because it can only leverage training examples that fit into the context window. Existing efforts to address the context window limitation involve training specialized architectures, which tend to be smaller than the sizes in which in-context learning manifests due to the memory footprint of processing long texts. We present Parallel Context Windows (PCW), a method that alleviates the context window restriction for any off-the-shelf LLM without further training. The key to the approach is to carve a long context into chunks (``windows'') that fit within the architecture, restrict the attention mechanism to apply only within each window, and re-use the positional embeddings among the windows. We test the PCW approach on in-context learning with models that range in size between 750 million and 178 billion parameters, and show substantial improvements for tasks with diverse input and output spaces. Our results motivate further investigation of Parallel Context Windows as a method for applying off-the-shelf LLMs in other settings that require long text sequences.
translated by 谷歌翻译
Hebrew is a Morphological rich language, making its modeling harder than simpler language. Recent developments such as Transformers in general and Bert in particular opened a path for Hebrew models that reach SOTA results, not falling short from other non-MRL languages. We explore the cutting edge in this field performing style transfer, text generation and classification over news articles collected from online archives. Furthermore, the news portals that feed our collective consciousness are an interesting corpus to study, as their analysis and tracing might reveal insights about our society and discourse.
translated by 谷歌翻译
A gradual semantics takes a weighted argumentation framework as input and outputs a final acceptability degree for each argument, with different semantics performing the computation in different manners. In this work, we consider the problem of attack inference. That is, given a gradual semantics, a set of arguments with associated initial weights, and the final desirable acceptability degrees associated with each argument, we seek to determine whether there is a set of attacks on those arguments such that we can obtain these acceptability degrees. The main contribution of our work is to demonstrate that the associated decision problem, i.e., whether a set of attacks can exist which allows the final acceptability degrees to occur for given initial weights, is NP-complete for the weighted h-categoriser and cardinality-based semantics, and is polynomial for the weighted max-based semantics, even for the complete version of the problem (where all initial weights and final acceptability degrees are known). We then briefly discuss how this decision problem can be modified to find the attacks themselves and conclude by examining the partial problem where not all initial weights or final acceptability degrees may be known.
translated by 谷歌翻译
本文介绍了信息性多臂强盗(IMAB)模型,在每个回合中,玩家选择手臂,观察符号,并以符号的自我信息形式获得未观察到的奖励。因此,手臂的预期奖励是产生其符号的源质量函数的香农熵。玩家的目标是最大程度地提高与武器的熵值相关的预期奖励。在假设字母大小是已知的假设下,为IMAB模型提出了两种基于UCB的算法,该算法考虑了插件熵估计器的偏差。第一种算法在熵估计中乐观地纠正了偏置项。第二算法依赖于数据依赖性置信区间,该置信区间适应具有较小熵值的源。性能保证是通过上限为每种算法的预期遗憾提供的。此外,在Bernoulli案例中,将这些算法的渐近行为与伪遗憾的Lai-Robbins的下限进行了比较。此外,在假设\ textit {cract}字母大小的假设下是未知的,而播放器仅知道其上方的宽度上限,提出了一种基于UCB的算法,在其中,玩家的目的是减少由该算法造成的遗憾。未知的字母尺寸在有限的时间方面。数字结果说明了论文中介绍的算法的预期遗憾。
translated by 谷歌翻译